ray 集群概述

ray的长处之一就是能够在一个程序中利用多个机器运行，在多机器的集群中才能发挥ray的真正能力。

ray node: ray 的集群是有一个head node和多个 worker node组成的。head node需要先启动，然后worker node使用head node的地址启动以形成集群。ray 集群自己可以做到自动缩放，可以与Cloud Provider交互，根据应用的工作负载来释放或者申请instances. ports: ray的进程是通过tcp端口号进行交流的。无论在云上或者其他的平台，开放正确的端口号是至关重要的。 ray cluster launcher: 是一个用来配置机器和启动多节点集群的工具，在Kubernetes上就可以使用这个启动器。

集群可以使用ray 集群启动器(ray cluster launcher)启动，也可以使用手册手动创建，也可以使用像k8s的标准集群管理来创建。 搭建好你的集群之后，在使用ray start的节点上启动驱动程序就可以将你的程序连接到集群。

ray使用内置的集群启动器来部署一个简单的ray集群。例如在k8s上，在k8s提供的节点上集群启动器将提供资源，然后在提供的资源上启动一个ray集群。可以配置ray cluster launcher来与k8s一起使用。

这一小节介绍配置launching cloud cluster以和k8s一起来使用。 ray/python/ray/autoscaler/kubernetes/example-full.yaml 集群配置文件可以创建一个小的集群，集群有一个head节点，并且自动扩展两个worker 节点pod。

观察上面的example-full示例，其中的head node的pod yaml中restartPolicy字段为Never，其中的解释是自动重启head node当前是不支持的，如果head node goes down了，那么要使用ray up来重新启动ray 集群。 其中的worker node的pod yaml中restartPolicy字段为Never， 也就是ray 的集群在k8s上并不使用k8s本身的保持pod副本数量功能，对于pod的启停完全由ray的head node自动管理，也就是自动缩放器来管理。

使用配置文件来描述ray本身的集群，在配置文件中我们至少要知名如下信息：

Ray Launcher 会自动启动基于负载的自动缩放器，调度会查看来自集群的task、actor和资源需求，增加可以执行这些需求的最小数目的节点。当节点空闲时间超过设定时间时便会被移除。使用upscaling_speed属性可以限制允许pending的节点数目以避免一次创建太多的节点，默认值为1.也就是在任何时刻集群新增的节点大小最多为100%，也就是一倍，也可以设置上限。 自动缩放器实现了下面的循环控制：

ray集群支持多节点类型。在这种操作模式下，调度器根据资源需求选择增加的节点类型，代替总是增加相同类型的节点。 集群节点类型的概念不仅包括物理设施类型（例如Gpu vs Cpu），也包括其他的属性。可以为每个节点类型指定自定义的资源，目的是ray能够在应用级别知道对指定节点类型的需求，例如通过自定义资源指定一个任务被分配到有特殊role或者机器镜像的节点上。 下面是一个配置了多节点类型的例子：

上面的配置文件定义了两个cpu节点类型(cpu_4_ondemand and cpu_16_spot)和两个gpu类型(gpu_1_ondemand and gpu_8_ondemand)。每个节点类型有一个名字，这个名字没有语义的意思，仅仅为了debug模式。让我们看一下gpu_1_ondemand节点类型的内部字段。 node config告诉我们底层云提供者怎样去启动一个此类型的节点。这个node config 会与顶层的yaml节点配置合并，并且会覆盖字段，这个例子是指定p2.xlarge 实例类型。

resources字段告诉自动缩放器这个节点提供什么类型的资源，此处的资源也包括自定义资源，例如Custom2, 这个字段能够让自动缩放器根据应用的资源需求自动选择正确类型的节点去启动。这里指定的资源以环境变量的方式自动传递给节点的ray start命令。 min_workers和max_workers字段指明启动此类型节点的最小最大数量。 worker_setup_commands字段用来覆盖节点类型的初始化命令。注意仅能覆盖worker node的初始化命令。

每个节点类型都能指定worker_image和pull_before_run 字段，这两个字段会覆盖顶层docker部分的值。worker_run_options字段与顶层docker: run_options字段结合以产生docker run命令。ray将会自动选择nvidia docker runtime（前提为可用） 下面的配置是一个使用gpu的节点类型：

使用ray自带的cluster launcher在已有的集群上部署是最容易的方式，当然也有使用k8s本身的集群管理方式部署ray集群，ray自带的cluster launcher是之后才集成到k8s上的。在github的ray/doc/kubernetes/目录下有所有例子所需的yaml配置文件，包括命名空间，集群需要的head node和worker node的deployment yaml配置文件等。 其中要了解的就是当节点crash的时候，因为部署的类型是deployment，所以k8s会重新启动节点以保持正确的副本数量。

当需要使用gpu时，需要将gpu配置到k8s集群，并且将资源通过配置告知ray的集群。

ray提供了kubernetes Operation来管理自动缩放ray集群。使用operator可以提供和使用ray集群启动器相似的功能，但是使用operation就不需要在本地运行ray，完全是通过k8s为媒介去互动。 operator使用叫做RayCluster的k8s自定义资源。RayCluster可以使用类似于Ray cluster launcher使用的yaml文件来指定配置信息，在内部，operator使用Ray的自动缩放去管理ray集群。但是自动缩放器运行在一个单独的operator pod里，而不是在ray head node中。每个RayCluster相当与指定一个Ray集群，也就是说可以定义多个Ray集群并且由operator来管理。

其中的自定义资源有一个四千多行的配置，用来配置自己的类型，api，节点类型等等，然后执行一个operator pod，其中包含自动缩放器，这个自动缩放器可以同时管理多个Ray集群。